This work addresses fair generative models. Dataset biases have been a major cause of unfairness in deep generative models. Previous work had proposed to augment large, biased datasets with small, unbiased reference datasets. Under this setup, a weakly-supervised approach has been proposed, which achieves state-of-the-art quality and fairness in generated samples. In our work, based on this setup, we propose a simple yet effective approach. Specifically, first, we propose fairTL, a transfer learning approach to learn fair generative models. Under fairTL, we pre-train the generative model with the available large, biased datasets and subsequently adapt the model using the small, unbiased reference dataset. We find that our fairTL can learn expressive sample generation during pre-training, thanks to the large (biased) dataset. This knowledge is then transferred to the target model during adaptation, which also learns to capture the underlying fair distribution of the small reference dataset. Second, we propose fairTL++, where we introduce two additional innovations to improve upon fairTL: (i) multiple feedback and (ii) Linear-Probing followed by Fine-Tuning (LP-FT). Taking one step further, we consider an alternative, challenging setup when only a pre-trained (potentially biased) model is available but the dataset that was used to pre-train the model is inaccessible. We demonstrate that our proposed fairTL and fairTL++ remain very effective under this setup. We note that previous work requires access to the large, biased datasets and is incapable of handling this more challenging setup. Extensive experiments show that fairTL and fairTL++ achieve state-of-the-art in both quality and fairness of generated samples. The code and additional resources can be found at bearwithchris.github.io/fairTL/.

视觉假冒物越来越多地导致具有神经图像合成方法快速演变的主流介质中的存在难题。尽管对这种伪造的发现一直是图像法医社区中的一个征税问题，但最近的法医探测器（通用探测器）都能够出人意料地发现伪造的图像，无论发电机架构，损失功能，培训数据集和解决方案如何。这种有趣的属性表明，通用检测器中可能存在可转移的法医特征（T-FF）。在这项工作中，我们进行了第一个分析研究，以发现和理解通用探测器中的T-FF。我们的贡献是2倍：1）我们提出了一个新颖的法医功能相关统计量（FF-RS），以量化和发现通用检测器中的T-FF，以及2）我们的定性和定量研究发现了一个意外的发现：颜色是关键的发现：通用检测器中的T-FF。代码和型号可在https://keshik6.github.io/transferable-forensic-features/

常规的几杆分类（FSC）旨在识别出有限标记的数据的新课程中的样本。最近，已经提出了域泛化FSC（DG-FSC），目的是识别来自看不见的域的新型类样品。 DG-FSC由于基础类（用于培训）和新颖类（评估中遇到）之间的域移位，对许多模型构成了巨大的挑战。在这项工作中，我们为解决DG-FSC做出了两个新颖的贡献。我们的首要贡献是提出重生网络（BAN）情节培训，并全面研究其对DG-FSC的有效性。作为一种特定的知识蒸馏形式，已证明禁令可以通过封闭式设置来改善常规监督分类的概括。这种改善的概括促使我们研究了DG-FSC的禁令，我们表明禁令有望解决DG-FSC中遇到的域转移。在令人鼓舞的发现的基础上，我们的第二个（主要）贡献是提出很少的禁令，FS-Ban，这是DG-FSC的新型禁令方法。我们提出的FS-BAN包括新颖的多任务学习目标：相互正则化，不匹配的老师和元控制温度，这些目标都是专门设计的，旨在克服DG-FSC中的中心和独特挑战，即过度拟合和领域差异。我们分析了这些技术的不同设计选择。我们使用六个数据集和三个基线模型进行全面的定量和定性分析和评估。结果表明，我们提出的FS-BAN始终提高基线模型的概括性能，并达到DG-FSC的最先进的准确性。

在面部识别领域，一方面猕猴神经生理学与人类电生理学之间存在令人困惑的时序差异。猕猴中的单个单位记录已显示出100毫秒刺激发作以内的外部视觉皮层中的面部身份特定响应。但是，在人类的脑电图和梅格实验中，据报道，与不熟悉和熟悉的面孔相对应的神经活动之间存在一致的区别，大约在250毫秒内出现。这表明可能存在迄今未发现的人类电生理痕迹的面部熟悉感的早期相关性。我们在这里报告了使用模式分类技术在密集的MEG录音中成功搜索这种相关性。我们的分析表明，早在刺激发作后85毫秒内，面部熟悉程度的标记。图像的低级属性（例如亮度和颜色分布）无法解释这种早期新兴响应差异。这些结果有助于调和人类和猕猴的数据，并提供有关熟悉面部感知的神经机制的线索。

这项工作研究了标签平滑（LS）和知识蒸馏（KD）之间的兼容性。解决这一论文陈述的当代发现采取二分法的观点：Muller等。 （2019）和Shen等。 （2021b）。至关重要的是，没有努力理解和解决这些矛盾的发现，留下了原始问题 - 顺利还是不平稳教师网络？ - 未得到答复。我们工作的主要贡献是对系统扩散的发现，分析和验证是缺失的概念，这在理解和解决这些矛盾的发现方面具有重要作用。这种系统的扩散基本上削减了从LS训练的老师蒸馏的好处，从而使KD在升高的温度无效时使KD呈现。我们的发现得到了大规模实验，分析和案例研究的全面支持，包括图像分类，神经机器翻译和紧凑的学生蒸馏任务，这些任务跨越了多个数据集和教师 - 学生架构。根据我们的分析，我们建议从业者使用具有低温转移的LS训练的老师来实现高性能学生。代码和型号可在https://keshik6.github.io/revisiting-ls-kd-compatibility/

无监督的图形级别表示学习在各种任务中起着至关重要的作用，例如分子特性预测和社区分析，特别是当数据注释昂贵时。目前，大多数最佳性能的图形嵌入方法都基于InfoMax原理。如果样品未仔细选择样品，这些方法的性能高度取决于阴性样本的选择并损害性能。如果相似性匹配的所选图表组的质量低，则基于间的基于相似性的方法也受到影响。要解决此问题，我们仅关注利用当前输入图进行嵌入学习。我们通过真实世界的图形生成过程的观察，其中基于图形的所有元件共同形成的图形（例如，讨论螺纹的题目，分子的溶解度水平）是共同的一个或多个全局因素。我们假设提取这些常见因素可能是非常有益的。因此，这项工作提出了一个新的无监督图表表示学习的新原则：图表明智的共同潜在因子提取（GCFX）。我们进一步提出了一个深入的GCFX，DeepGCFX模型，基于逆转上述图形生成过程的想法，该过程可以明确地从输入图中提取共同的潜在因子并实现对当前状态的下游任务的改进结果-艺术。通过广泛的实验和分析，我们证明，在提取共同的潜在因素的同时有利于图形级任务来缓解由各个节点或本地社区的局部变体引起的分心，而是通过启用远程节点依赖性来利用节点级任务，特别是对于抗衡图。

在本文中，我们采用了最大化的互信息（MI）方法来解决无监督的二进制哈希代码的问题，以实现高效的跨模型检索。我们提出了一种新颖的方法，被称为跨模型信息最大散列（CMIMH）。首先，要学习可以保留模跨和跨间相似性的信息的信息，我们利用最近估计MI的变分的进步，以最大化二进制表示和输入特征之间的MI以及不同方式的二进制表示之间的MI。通过在假设由多变量Bernoulli分布模型的假设下联合最大化这些MIM，我们可以学习二进制表示，该二进制表示，其可以在梯度下降中有效地以微量批量方式有效地保留帧内和模态的相似性。此外，我们发现尝试通过学习与来自不同模式的相同实例的类似二进制表示来最小化模态差距，这可能导致更少的信息性表示。因此，在减少模态间隙和失去模态 - 私人信息之间平衡对跨模型检索任务很重要。标准基准数据集上的定量评估表明，该方法始终如一地优于其他最先进的跨模型检索方法。

Aligning users across networks using graph representation learning has been found effective where the alignment is accomplished in a low-dimensional embedding space. Yet, achieving highly precise alignment is still challenging, especially when nodes with long-range connectivity to the labeled anchors are encountered. To alleviate this limitation, we purposefully designed WL-Align which adopts a regularized representation learning framework to learn distinctive node representations. It extends the Weisfeiler-Lehman Isormorphism Test and learns the alignment in alternating phases of "across-network Weisfeiler-Lehman relabeling" and "proximity-preserving representation learning". The across-network Weisfeiler-Lehman relabeling is achieved through iterating the anchor-based label propagation and a similarity-based hashing to exploit the known anchors' connectivity to different nodes in an efficient and robust manner. The representation learning module preserves the second-order proximity within individual networks and is regularized by the across-network Weisfeiler-Lehman hash labels. Extensive experiments on real-world and synthetic datasets have demonstrated that our proposed WL-Align outperforms the state-of-the-art methods, achieving significant performance improvements in the "exact matching" scenario. Data and code of WL-Align are available at https://github.com/ChenPengGang/WLAlignCode.

Three main points: 1. Data Science (DS) will be increasingly important to heliophysics; 2. Methods of heliophysics science discovery will continually evolve, requiring the use of learning technologies [e.g., machine learning (ML)] that are applied rigorously and that are capable of supporting discovery; and 3. To grow with the pace of data, technology, and workforce changes, heliophysics requires a new approach to the representation of knowledge.

We propose an extrinsic Bayesian optimization (eBO) framework for general optimization problems on manifolds. Bayesian optimization algorithms build a surrogate of the objective function by employing Gaussian processes and quantify the uncertainty in that surrogate by deriving an acquisition function. This acquisition function represents the probability of improvement based on the kernel of the Gaussian process, which guides the search in the optimization process. The critical challenge for designing Bayesian optimization algorithms on manifolds lies in the difficulty of constructing valid covariance kernels for Gaussian processes on general manifolds. Our approach is to employ extrinsic Gaussian processes by first embedding the manifold onto some higher dimensional Euclidean space via equivariant embeddings and then constructing a valid covariance kernel on the image manifold after the embedding. This leads to efficient and scalable algorithms for optimization over complex manifolds. Simulation study and real data analysis are carried out to demonstrate the utilities of our eBO framework by applying the eBO to various optimization problems over manifolds such as the sphere, the Grassmannian, and the manifold of positive definite matrices.